Стартиращата AI компания Character.ai забранява на тийнейджъри да говорят с чатботове

Character.ai стана първата огромна компания за изкуствен интелект, която забрани на лица под 18 години да приказват с чатботове на своята платформа, на фона на възходящия публичен и регулаторен надзор върху сигурността на технологията за младите консуматори.

Калифорнийската компания, която предлага разнообразни AI персони за взаимоотношение, сподели в сряда тя ще ограничи тази възрастова група до 2 часа диалози дневно, постепенно намалявайки времевия лимит преди да ги спре изцяло от 25 ноември.

„ Дългосрочните резултати от продължителното потребление на AI не се схващат задоволително добре “, сподели Карандийп Ананд, основен изпълнителен шеф на Character.ai, пред Financial Times.

Той сподели, че компанията желае да „ реалокира диалозите от chatbots “ в „ по-добро, по-безопасно преживяване за нашите младежи “.

„ Надяваме се, че това има широкообхватни последствия за промишлеността “, добави той.

Ходът идва, защото AI групи, в това число OpenAI, са подложени на засилено наблюдаване след случаи, включващи самоубийства и съществени пострадвания на млади консуматори.

Character.ai е изправен пред голям брой правосъдни каузи, в това число един случай във Флорида, който твърди, че платформата е изиграла роля в самоубийството на 14-годишен. OpenAI също е съден за непозволена гибел, откакто 16-годишен се самоуби след разискване на способи с ChatGPT.

Миналия месец Федералната комерсиална комисия на Съединени американски щати стартира следствие на по този начин наречените AI „ придружители “, употребявани от младежи, натрупвайки по-голям напън върху промишлеността.

OpenAI направи актуализации за сигурност през последните месеци и призна, че защитните му парапети се „ утежняват “ по време на дълги диалози.

Във вторник стартъпът на стойност 500 милиарда $ съобщи, че повече от един милион от неговите 800 милиона консуматори са обсъждали самоубийства с ChatGPT седмично и е обучил моделите си да „ разпознават по-добре бедствието, да деескалират диалозите и да насочват хората към професионална грижа, когато е уместно “.

Character.ai, който предлага чатбот персони като „ египетски фараон “, „ управител по човешки запаси “ или „ токсична другарка “, сподели, че лица под 18 години към момента ще могат да основават видеоклипове и истории със съществуващи герои – и да основават нови – в платформата, употребявайки текстови подкани. Но те няма да могат да водят настоящ диалог.

" Колкото по-дълго продължава диалогът, толкоз по-отворен става. Когато генерирате къси видеоклипове, истории или игри, има доста по-ограничен домейн, с цел да можете да извършите преживяването по-безопасно ", сподели Ананд.

Той също по този начин ще вкара технология за гарантиране на възрастта, с цел да оцени по-добре дали потребителите му са малолетни. Той ще предлага биометрично сканиране или качване на държавен документ за идентичност, в случай че консуматор счита, че е погрешно оценен като малолетен.

Character.ai има 20 милиона дейни консуматори месечно, като към половината са дами и 50 % Gen Z или Alpha - хора, родени след 1997 година Той сподели, че по-малко от 10 % от потребителите се самоотчитат, че са под 18 години.

Стартиращата компания разрешава сантиментални диалози за възрастни консуматори, само че не и такива със полов темперамент. Той не разрешава полово наличие без единодушие, графични или съответни описания на полови актове, или разпространение или обрисуване на самонараняване или самоубийство.

Character.ai също по този начин разгласи организация с нестопанска цел, наречена AI Lab, която ще организира и разгласява проучвания за взаимоотношенията на потребителите с AI. Освен това си партнира с организации, с цел да обезпечи поддръжка за младежи, до момента в който обработват възможното унищожаване на чатбота.

„ Социалните медии не бяха следени, в случай че желаете, дълго време, преди да стартираме да слагаме защитни огради “, сподели Ананд, който е работил в притежателя на Фейсбук и Instagram Мета. „ Трябва да бъдем виновни предварително ...  и това е повода, заради която разширяваме границите още повече с измененията, които разгласяваме през днешния ден. “

Допълнителен репортаж от Мелиса Хейкила в Лондон